Đầu năm 1941 ông nhập ngũ vào Quân đội Pháp, theo học tại trường Võ bị Tông, Sơn Tây. Sau một năm mãn khóa tốt nghiệp với cấp bậc Chuẩn úy. Ra trường ông được điều động đi phục vụ trong một đơn vị Bộ binh thuộc Quân đội Thuộc địa Pháp với chức vụ Trung đội trưởng. Năm 1944 ông được thăng cấp Thiếu úy tại nhiệm. Bấy giờ, tại Huế chỉ có hai người Việt mang lon Thiếu úy[2] là ông và ông Phan Tử Lăng. Khi Cách mạng tháng 8 nổ ra, Phan Tử Lăng được đưa vào Lực lượng Bảo an Trung Kỳ tham gia Việt Minh. Còn ông thì giải tán đơn vị và trở về nhà.